a342d80118987259333ee465135c3aadd6c09567
BLEU baseline baseline
- challenge
- Evaluation of translation quality assessment metrics (nonblind)
- submitter
- Filip Graliński
- submitted
- 2021-08-21 16:56:07.136695 UTC
- original repo
git@django:/git_data/pr/quality-estimation-nonblind-f906c9f6-28d8-46fc-b52e-5c5cd3810ef7/ branchmaster- publicly available at
https://github.com/poleval/quality-estimation-nonblind/ branchsubmission-00221- browsable at
- https://github.com/poleval/quality-estimation-nonblind/tree/submission-00221
- clone by
git clone --single-branch https://github.com/poleval/quality-estimation-nonblind -b submission-00221- file basename
- out
test-A / c29889b9f060c8555caeee51ed7d169c9d6e64d6
| Metric | Score |
|---|---|
| Pearson | 0.2737 |
dev-0 / 28ef1e5fd72446c143846b1de478c7cd6876617c
| Metric | Score |
|---|---|
| Pearson | 0.3149 |
worst items
note: the gold standard is taken from the challenge| # | input | expected output | actual output | test-A Pearson |
|---|---|---|---|---|
| 1 | Zacząłem więc swoje życie jako architekt lub jako architekt i zawsze byłem zainteresowany społecznie odpowiedzialnym projektowaniem i tym, j… | 3.833333333 | 0.0 | NaN |
| 2 | Myślisz, że szczegół jest obecny, ale go nie ma. You think the detail is there but it isn not there. Myślisz że szczegół jest ale go tam nie… | 4.166666667 | 0.0 | NaN |
| 3 | Przypomina mu to słowo pudel barokowy barokowy Suzanne R, który wyrusza na wyścigi. That reminds him of the word baroque barrack bark poodle… | 3.25 | 0.0 | NaN |
| 4 | I sprawił, że igła wyglądała, jakby Hulk ją złamał. And made a needle look like the Hulk is broken it. tak aby wydawało się że to Hulk ją zł… | 4.666666667 | 0.0 | NaN |
| 5 | I mówi: Wydaje się, że idealnym argumentem dla większości filozofów jest to, że dajesz słuchaczom przesłanki, a następnie dajesz im wnioski … | 3.916666667 | 0.0 | NaN |
| 6 | Jesteśmy u progu największego odkrycia, jakie kiedykolwiek znała ludzkość. We are on the verge of the greatest exploration that the human ra… | 4.416666667 | 0.0 | NaN |
| 7 | Ale inni dorośli mówią niezwykle bolesne rzeczy. But other adults say incredibly painful things. Ale inni dorośli wypowiadają niezwykle bole… | 4.833333333 | 0.0 | NaN |
| 8 | To dobra wiadomość. That is the good news. To dobra wiadomość. | 5 | 1.0 | NaN |
| 9 | Nasza siedziba znajduje się na Florydzie. We are based down in Florida. Jesteśmy na Florydzie. | 4.666666667 | 0.0 | NaN |
| 10 | Nazywa się je bateriami jądrowymi. They are referred to as nuclear batteries. Mówi się o nich jako jądrowych bateriach. | 4.333333333 | 0.0 | NaN |
| 11 | Szybki moment dla projektantów na widowni. Quick moment for the designers in the audience. Chwila dla projektantów wśród publiczności. | 4.416666667 | 0.0 | NaN |
| 12 | Dysmorfofobia to skrajna wersja tego, że nie postrzegamy siebie tak, jak widzą nas inni. Dysmorphophobia is an extreme version of the fact t… | 4.75 | 0.2668064899634279 | NaN |
| 13 | A to oczywiście ostrzega dziecko o ich niezwykłej naturze. And that obviously alerts the child to their unusual nature. I ta ciekawość wyraź… | 4.416666667 | 0.0 | NaN |
| 14 | Nie możesz więc używać tych samych modeli, których używasz w Stanach Zjednoczonych, aby przyspieszyć rozwój. So you can not use the same mod… | 4.25 | 0.0 | NaN |
| 15 | Ponadto dochód generowany z tego węgla drzewnego wynosi 260 milionów dolarów. In addition the revenue generated from that charcoal is 260 mi… | 4.583333333 | 0.0 | NaN |
| 16 | Kiedy ludzie robią zdjęcia tym budynkom z tego kontekstu, wyglądają naprawdę dziwnie i zakładam, że mają one dużo więcej sensu, gdy są fotog… | 4.166666667 | 0.0 | NaN |
| 17 | Teraz, gdybyście zobaczyli zdjęcie tego, które zostało opublikowane w Architectural Record, nie pokazały one kontekstu, więc można by pomyśl… | 4 | 0.0 | NaN |
| 18 | A po tym, jak zawiedliśmy, po prostu zawodziłem. And after we failed I just kept failing. I gdy nam się nie udało dalej odnoszę porażki. | 4.083333333 | 0.0 | NaN |
| 19 | Chodzi mi o to, że to trochę banalna rzecz, ale to prawda, że chcieli mieć centralne miejsce, w którym byłaby stołówka, gdzie przychodzili… | 4.083333333 | 0.0 | NaN |
| 20 | A budynek jest bardzo rzeźbiarski, gdy go obchodzisz. And the building is very sculptural as you walk around it. Budynek wygląda jak rzeźba … | 4.083333333 | 0.0 | NaN |
| 21 | Herman Miller wyznaje tę filozofię, że miejsce jest miejscem dla ludzi. And Herman Miller has this philosophy of having a place a people pla… | 4.166666667 | 0.0 | NaN |
| 22 | Właściwie to w zasadzie trzy kwadratowe pokoje z kilkoma świetlikami i innymi rzeczami. It is actually basically three square rooms with a c… | 4 | 0.0 | NaN |
| 23 | Rzecz po prawej stronie to wąż z zigguratu. The thing on the right is a snake form a ziggurat. To po prawej stronie to forma węża ziggurat. | 4.666666667 | 0.345720784641941 | NaN |
| 24 | Więc zacząłem robić te zabawne rzeczy. And so I started making these funny things. I tak zacząłem tworzyć te śmieszne rzeczy. | 4.666666667 | 0.0 | NaN |
| 25 | Po lewej stronie zobaczysz przetworzone wideo, w którym kamera uczyniła go niewidzialnym. And on the left side you will see the processed vi… | 4.666666667 | 0.0 | NaN |
| 26 | Jedna z historii, które opowiadał mi tak często, kiedy byłem małym chłopcem, dotyczyła pierwszego brytyjskiego testu bomby atomowej. And one… | 4.5 | 0.0 | NaN |
| 27 | A co gorsza, znacznie gorsze niż to, że moje poczucie własnej wartości w pewnym sensie wyparowało. And worse than that far worse than that m… | 4.083333333 | 0.0 | NaN |
| 28 | Pracowałem jako dyrektor biura Banku Światowego w Nairobi w Afryce Wschodniej. I used to work as the director of the World Bank office in Na… | 4.833333333 | 0.3672056269893592 | NaN |
| 29 | Tak, jest bardzo różny, nie, nie jest inny. Yeah it is very different no it is not different. Tak różnią się znacznie od siebie ale czy aż t… | 4 | 0.0 | NaN |
| 30 | Brak zarządzania w wielu obszarach w obszarze korupcji i niszczenia środowiska w obszarze wykorzystywania kobiet i dzieci w obszarze zmian k… | 4.083333333 | 0.0 | NaN |
| 31 | Więc to jedna z historii ropy naftowej, jest jej po prostu dużo. So that is one of the stories of oil there is just a lot of it. Reasumując … | 3.916666667 | 0.0 | NaN |
| 32 | Miałem tę firmę, którą spędziłbym 15 lat budując. Nazywa się Future, była to firma wydawnicza. I had this company that I would spent 15 year… | 4 | 0.0 | NaN |
| 33 | Pomyślałem, że to będzie bułka z masłem, ponieważ zawsze prowadzę wstępne rozmowy z tymi ludźmi przez może 10 lub 15 minut. And I thought th… | 4.5 | 0.0 | NaN |
| 34 | Więc ona i ja odbyliśmy wspaniałą rozmowę. So she and I had a delightful conversation. Więc ona i ja rozpoczęliśmy przemiłą konwersację. | 4.833333333 | 0.4111336169005197 | NaN |
| 35 | Powiedział, że my, południowcy, lubimy gładką powierzchnię, więc były chwile, kiedy po prostu nie chciał konfrontacji. He said We southerner… | 4.416666667 | 0.25576360687094823 | NaN |
| 36 | Odwożą ich do domu i chcą, aby zostali oświeceni, więc zabierają ich do Ben & amp Jerry to firma produkująca lody z własną polityką zagranic… | 4.333333333 | 0.12241236136520368 | NaN |
| 37 | To, co widzisz, to znaczna poprawa ich natychmiastowej pamięci o ich zdolności do zapamiętywania rzeczy po opóźnieniu ich zdolności kontrolo… | 3.833333333 | 0.0 | NaN |
| 38 | I to jest okres, w którym mózg ustawia w swojej pierwotnej formie swoją podstawową maszynerię przetwarzania. And that is the period in which… | 4.25 | 0.0 | NaN |
| 39 | W rzeczywistości wyolbrzymia ich odrębność reprezentacji w wielowymiarowych neuronalnych terminach reprezentacji. It actually exaggerates th… | 3.5 | 0.0 | NaN |
| 40 | Jeśli zawieje je wiatr, są jak chrząszcze uwięzione na ziemi. If the wind blows them over they are like beetles stuck there on the ground. J… | 4 | 0.0 | NaN |